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一 类 非 光滑 非 凸 优化 问题 的 神经 网 络 方法 


喻 ” 昕 ， 陈 昭 蓉 ' 
(广西 大 学 计算 机 与 电子 信息 学 院 ， 南 宁 530004) 


摘 要 : 提出 了 解决 一 类 带 等 式 与 不 等 式 约束 的 非 光滑 非 凸 优化 问题 的 神经 网 络 模 型 。 证 明了 当 目 标 汐 数 有 下 界 时 ， 
神经 网 络 的 解 轨 迹 在 有 限时 间 收 敛 到 可 行 域 。 同时， 神经 网 络 的 平衡 点 集 与 优化 问题 的 关键 点 集 一 致 ， 且 神经 网 络 最 
终 收 你 于 优化 问题 的 关键 点 集 。 与 传统 基于 罚 函 数 的 神经 网 络 模型 不 同 ， 提 出 的 模型 无 须 计 算 罚 因子 。 最 后 ， 通 过 仿 
真实 验 验证 了 所 提出 模型 的 有 效 性 。 
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Neural network optimization method for class of nonconvex nonsmooth optimization problems 


Yu Xin, Chen Zhaorong' 
(School Of Computer & Electronic Information Guangxi University, Nanning 530004, China) 


Abstract: This paper proposed a novel neural network to solve nonsmooth nonconvex optimization problems with equality and 
inequality constraints. It was proved that when the objective function has a lower bound, the neural network converges to a 
feasible domain in a finite time. Meanwhile, the solution trajectory of neural network converges to optimal solution set of the 
corresponding optimization problems, which finally converge to critical point set of optimization problems. Comparing with 
traditional neural network which based on penalty function, the neural network model does not need to calculate any penalty 
parameters. Finally, the effectiveness of the proposed model is verified by simulation experiments. 
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Forti 等 人 中 提出 了 一 种 G-NPC 神经 网 络 模型 ，G-NPC 是 基于 
1 NPC 的 一 个 微分 包含 形式 的 梯度 系统 , 其 目标 函数 和 约束 函数 
:二 1986 年 ，Tank 和 Hopfieldm 首 次 介绍 了 模拟 神经 网 络 方法 不 需要 是 光滑 的 而 仅仅 是 正则 函数 即 可 。 为 了 使 非 光滑 规划 更 
区 解决 限制 性 最 优化 问题 ， 并 在 文献 [2] 中 得 到 更 进一步 的 阐述 。 有 具 普遍 性 ， 文 献 [8,9] 提 出 了 基于 惩罚 函数 和 次 梯度 的 递归 
其 核心 思想 是 利用 动力 学 神经 网 络 同时 模拟 目标 函数 与 约束 函 神经 网 络 解决 非 光滑 上 同 与 非 光 滑 非 凸 规划 问题 。 神 经 网 络 的 收 
数 ,并 利用 神经 网 络 的 模拟 与 并 行 处 理 能 力 计算 问题 的 最 优 解 。 伍 行 为 ， 包 括 全 局 收 化 和 局 部 收敛 。 如 果 规 划 问 题 的 目标 函数 
文献 [1] 首 次 提出 了 递归 神经 网 络 解决 线性 规划 问题 ,在 此 基础 的 定义 域 域 中 任意 的 初始 点 的 解 轨迹 收敛 于 最 优 解 或 近似 最 
上 上 ，Kennedy 和 Chua??1 对 文献 [1] 中 的 神经 网 络 进行 改进 ， 通 过 兆 解 》， 则 该 神经 网 络 模型 是 全 局 收 伍 的 ， 如 文献 [10] 的 神经 网 
构建 一 个 有 限 的 惩罚 参数 的 神经 网 络 来 解决 非 线 性 规划 问题 。 络 模型 ， 在 满足 一 些 条 件 的 情况 下 是 全 局 收敛 然而， 如 果 限 
ZhangDj 在 早期 惩 避 参数 研究 的 基础 上 ， 提 出 了 一 种 基于 制 条 件 是 初始 状态 的 解 必须 从 可 行 域 中 选取 ， 则 其 收敛 是 局 部 
Lagrange 乘 子 法 的 递归 神经 网 络 以 解决 非 线 性 凸 优化 问题 。 的 。 基 于 惩罚 参数 和 函数 的 神经 网 络 模型 ， 其 解 集 很 在 大 程度 
Lagrange 神经 网 络 模型 中 有 两 种 神经 元 : 变量 神经 元 和 上 是 非 全 局 收敛 的 ， 因 为 此 类 神经 网 络 模型 ， 其 可 行 域 上 发 现 
Lagrange 神经 元 。 其 中 ， 变 量 神经 元 负责 寻找 目标 函数 的 最 小 的 一 个 内 部 点 通常 是 一 个 特殊 域 包含 的 可 行 域 的 中 心 ， 因 此 ， 

点 以 及 提供 解决 问题 的 平衡 点 ， 而 拉 格 朗 日 神经 元 负责 将 动态 为 了 保证 收 公 ， 初 始 解 集 必 须 在 可 行 域 范围 内 部 选取 ， 并 且 生 
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轨迹 快速 的 引入 可 行 域 。 有 关 Lagrange 神经 网 络 的 详细 研究 请 。 罚 参数 必须 保证 足够 大 。 再 者 ， 惩 罚 函 数 神经 网 络 模型 的 有 效 
参考 文献 [4-6]。 性 依赖 于 确定 的 或 非 确定 的 惩罚 参数 ， 而 确定 性 惩罚 参数 在 实 

在 最 优化 问题 的 研究 发 展 中 ， 早 期 的 神经 网 络 模 型 均 为 光  ” 际 应 用 是 很 难 估算 的 。 为 解决 这 个 问题 ，Zheng 等 人 HW 提出 了 
滑 非 线性 规划 问题 而 设计 ， 为 了 解决 非 光滑 非 线性 规划 问题 ， 一 种 新 的 解决 非 光滑 凸 优化 的 递归 神经 网 络 ， 文 献 [11] 所 提出 
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的 神经 网 络 在 解决 带 约束 的 非 光滑 凸 规划 问题 的 同时 ， 不 需要 
任何 的 惩罚 参数 。 然 而 , 文献 [11] 提 出 的 神经 网 络 的 结构 却 异 常 
为 了 降低 网 络 模型 的 复杂 度 , 文献 [12~16] 提 出 了 一 些 一 
递归 神经 网 络 。Gou 等 人 0 提出 了 一 种 解决 线性 等 式 约束 的 
凸 优化 的 一 层 递归 神经 网 络 ， 并 证 明了 在 等 式 约 束 条 件 下 ， 入 
轨迹 能 在 有 限时 间 收 敛 到 可 行 域 中 。 基于 惩罚 函数 方法 , Liu 等 
人 635 提 出 了 一 种 新 的 一 层 递 归 神 经 网 络 来 解决 线性 等 式 约 束 
的 伪 凸 最 优化 问题 。 为 解决 线性 规划 问题 , Liu09 早 期 同样 提出 
种 基于 次 梯度 的 神经 网 络 ， 证 明了 该 神经 网 络 定义 域内 是 全 
局 收敛 的 。 国 内 有 关 神 经 网 络 解决 最 优化 的 研究 可 参考 文献 
[21~23] 
传统 的 神经 网 络 模型 解决 工程 优 问题 大 多 要 求 求解 适当 的 
罚 函 数 ， 而 这 个 参数 在 某 些 目标 函数 下 是 难以 计算 的 ， 这 为 网 
络 执行 计算 带 来 困难 。 本 文 结合 传统 的 递归 神经 网 络 模型 ， 提 
出 新 的 一 种 解 坟 
该 模型 的 优点 如 下 :ay) 与 传统 基于 罚 函 数 的 神经 网 络 模型 不 同 ， 
本 文 提出 的 模型 无 需 计 算 罚 因子 ;b) 许多 模型 的 网 络 模型 的 初 
始点 往往 只 能 在 一 个 有 界 球 体内 选取 ， 而 此 模型 的 网 络 初始 点 
可 以 任意 选取 ;c〉 到 目前 为 止 ， 所 提出 的 大 部 分 模型 仅 能 解决 
目标 函数 为 凸 的 优化 问题 ， 而 此 模型 可 解决 一 类 目标 函数 为 非 
凸 的 优化 问题 
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1 ”预备 知识 


在 本 文中 ， 考 虑 如 下 的 非 光滑 非 凸 约束 的 最 优化 问题 : 
min f(x)= f(x) 
g(x)<0 (1) 
h(x)=0 
其 中 : x = (2 2，. aX) e 民 ”是 变量 向 量 ，f :R” 一 RR 是 非 
光滑 凸 或 非 凸 的 目标 函数 ， 其 中 A(x) 可 以 是 非 光滑 非 凸 的 正 
则 函数 。 g(x) = (8100,8C20 ,800) :RR" 一 及 "是 7m 维 
向 量 的 不 等 式 约束 向 量 函 数 ， ee 
滑 的 凸 函 数 。 PCD = (PC PC ) 有 必 CD) :及 "一 及 "是 书 
维 线性 等 式 约束 向 量 函数 。 不 失 一 般 性 ， 我 们 假设 非 线 性 规划 
(1) 至 少 有 一 个 最 优 解 。 定 义 S,={xe R":g(x)<0)， 


5, ={x e R" :有 h(x) =0} 。 满 足 约束 函数 的 可 行 域 定义 为 
$={xeR":g(x)<0,h(x)=0}, 显然 S=5 NM5,. 


S.1. 


对 于 本 文 研究 的 优化 问题 ， 我 们 


直 假定 存在 < R" 和 
6 >0， 满 足 xeint(S) 门 $,，S, CC B(x,6)， 其 
int(S ) 表示 集合 $1 的 内 部 ， B(x,6) 表示 以 为 中 心 半径 


为 6 的 开 球 区 域 , 且 Gu = min- g(x) >0. 
<j<m 
为 了 便于 解决 问题 ， 定 义 


带 等 式 约束 和 不 等 式 约束 的 递归 神经 网 络 模型 。 


Na Xl\ /合作 其 


Chi 7 
喻 昕 ， 等: 一 类 间 光 少 间 凹 化 由 是 神经 


0,xes, 
CS 
Je 六 (7 
7OD = 人 7s2…m:8CD> 中 ， 显 然 ， 


{x:G(x) <0}=5, {x:H(x)=0}=5,. 

定义 109 如 果 存 在 正 整 数 k,e ， 对 于 任意 的 
Xl,Xy EX+EB(0,1) 使 得 | (4) 一 了 (x%,) 上 发 K(x 一) 成立， 则 
称 函数 了 :RR” 一 民 在 xeR" 附近 Lipschitz。 如 果 了 在 其 定义 
域 每 一 个 点 的 附近 都 Lipschitz， 则 称 f 为 局 部 Lipschitz。 

如 果 了 :R” 一 尺 在 R" 上 是 局 部 Lipschitz 的 , 则 了 在 x 点 
沿 方向 ye R” 的 广义 方向 导数 为 : 

ale mo jy) 

0 
如 果 f"(x;v) 是 有 定义 且 有 限 的 ，f 在 x 处 的 次 微分 可 以 


of)={E eR" :VveR’, f°(xv)>(v,6)} 


引 理 1 链 式 法 则 的 。 如 果 到 :RR” 一 及 在 xD 处 是 正则 
的 ，x(D :及 "一 疏 在 ! 上 是 可 微 且 是 局 


部 Lipschitz 的 ， 则 
W(x()) =< €,x(t) >, E Ee OW (x(t)) re[0,co) 。 
本 文 提出 以 下 微分 包含 的 神经 网 络 动力 学 模型 : 


Xe-(I—P)(Of(x)+uOG(x)— A h(Ax(1)-b) ©) 


0,xes 
,u(0)>0 
G(x)+é,xeR"/S, 


其 中 ， 7 是 单位 矩阵 ,已 = A7(AA7)1A。 


2 ”神经 网 络 收敛 分 析 


定义 2 在 区 间 [t,t],(t >t) 上 ，X(1) e -OW(x(7)) 
满足 初始 条 件 x(t,) = 为 的 一 个 解 , 是 一 个 绝对 连续 函数 xX(1) ， 


则 对 于 x()= 加 和 所 有 的 te[t,t]， 有 XX(?) e 一 OW (x(n))。 

式 (10) 中 的 一 个 平衡 点 x” e R”， 为 式 (10) 的 一 个 解 ， 也 就 
是 说 ， Xx(1)=X ,fe(t0,%0) 。 显 然 ， 当 且 仅 当 满 足 
0s-oW(x(GD)) 时，x' 才 为 其 平衡 点 。 

引 理 28 ”对 任意 XES,\S ，GEOG(Xx)， 有 
(x-K) I-P) ESG,. 

引 理 3 ”神经 网 络 模型 式 (2) 具有 局 部 解 。 


证 明 由 于 式 (2) 的 右边 是 一 个 非 空 、 紧 凸 的 上 半 连 续 的 
集 值 映射 ， 因 此 神经 网 络 〈10) 至少 存 在 一 个 具有 满足 初始 条 


件 X(0)=x 的 局 部 解 x(7?), te [0,7) 。 
定理 1 对 于 任意 的 初始 点 Xo0， 神经 网 络 模 型 (2) 的 轨迹 
在 有 限时 间 内 必 进 入 等 式 限制 区 域 $, ， 且 停留 在 其 中 。 
证 明 设 H(x)=|Ax-dl ， 则 
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S,={xeR":H(x)=0}, OH(x)=A'h(Ax-b). 根 
据 链 式 法 则 ,存在 y(t)e@f (x(1)) ，&(1)e6G(x(1)), 以 
及 7(1)eh(Ax(1)-b) 满足 

d 


H(A(D))=< A n(n), (1) > 


dt 


=-7() A -P(A)+ués(t) -7(t) AA'nli) 


4(1-P)=4-44(447) 4=0， 有 
SH(x(D)=n(0) 44 人 
< -2(44 (| 


其 中 ， 如 (447 ) > 0 是 447 的 最 小 特征 值 。 


x(OD) 天 S ,根据 有 的 定义 知 ，|(?) 1， 因 此 : 


SH(x()s-% (447)<0 (3) 
对 上 式 两 边 从 0 到 了 进行 积分 得 


0<H(x(1))<H(x(0))-%, (44")t 


显然 ， 神 经 网 络 的 轨迹 x(1) 能 在 有 限时 间 进 入 9， 。 


下 面 证 明 轨迹 x(1) 


一 直 停留 在 $, 中 。 采 用 反 证 法 ， 假 定 


x(D) 在 时 刻 刀 离开 S，, 且 在 时 间 f E (fi,) ,th < 二 内 在 5， 


m 


d 7 
外 。 由 吾 Cx))=0 及 二 H(x(D))< -4 (44) 
fe(ti,y) ,可知 及 (Xx( 四 )<0 ， te(fi,t)， 这 与 


五 (XxX(1)) >0， Xx(1) gS 不符， 定理 


1 得 证 。 


为 了 便于 后 面 的 证 明 ， 介 绍 如 下 假设 : 

假设 1 目标 函数 了 (X) 有 下 界 。 

定理 2 若 假 设 1 成 立 ， 则 对 于 任意 初始 点 X0, 神 经 网 络 
模型 式 (2) 具有 全 局 解 

证 明 首先 证 明神 经 网 络 状态 向 量 X(1) 有 界 。 

根据 定理 1 可 知 ， 神 经 网 络 状态 向 量 X(7) 进入 S, 并 停留 
其 中 ， 因 此 神经 网 络 模型 (2〉 可 简化 为 : 

Xe—(T—P)(Of (xX) + uoG(x)) 

定义 能 量 函 数 : 


WCOD)=A (DF x(t Dinf FW)+GXD)) G3) 


根据 链 式 法 则 ， 存 在 y(t) e 6f (x(1))， 


(1)e6G(x(1))， 满足 ; 


A 人 A 不甘 日 工 
V 合 人 只 十 | 


等 : 一 类 非 光 Gna VA 网 络 方法 


喻 昕 ， 


(d /dDW (x(D)) =< AT VD + ED, XD > 二 
(FO) -inf FONd I dy D4) 


BB 


由 Uu(0) >0 可 知 对 任意 te[0,7T)，/W(1)>0， 因 此 


(d/d)u = NG)+e)<0 1， 又 | 


J CCD) 一 Int 了 (之 0 ， 式 (4) 可 转换 为 


(d /dDW (x(D)) << 1 DY + ED, xD) > 
=S$(O YI-PY I- PVD + HDED) 
— DY 
_ PoO+AOsC) 上 9 
AD 


< 0 


结合 式 (3) 和 (5) 可知， 对 对 任意 t e[0, 了 7) 

W(x(0) = W(x)) > G(x(D)) 

而 G(X(1)) 是 强制 的 , 因此 也 是 水 平 集 有 界 的 , 从 而 可 知 

经 网 络 状态 向 量 X(1) 有 界 。 

另 一 方面 ， 根 据 解 的 可 扩展 理论 ， 局 部 解 可 从 te [0,77) 

扩展 到 ft e [0, -+eo) ， 即 神经 网 络 模型 存在 全 局 解 。 
定理 3 若 假设 1 成 立 ， 对 于 任意 的 初始 点 X0 


， 神 经 网 络 
模型 式 (2) 的 轨迹 在 有 限时 间 内 必 进 入 可 行 域 $， 且 停留 在 其 
中 。 


可 


= 


证 明 根据 定理 1 可 知 , 神经 网 络 状态 向 量 X(1) 进入 5， 


并 停留 其 中 。 不 失 一 般 性 ， 我 们 只 需 证 明 对 任意 初始 点 
X0 E 9 \S1， 神 经 网 络 状态 向 量 X(1) 进入 ,9 并 最 终 停留 其 
中 。 


此 时 神经 网 络 模型 (10〉 可 简化 为 
xe—(T—P)(Of (Xx) +uoG(x)) 


W(x(D))= G(x(D)) (6) 
显然 ，{ :W(X(D)) < 0} = 5 。 根据 链 式 法 则 ， 对 任 
意 给 定 Xx(D)esS,\sS 存在 y(t)e6f(x(?)) 
S(1) e6G(x(1)) 满 中 
(d /dW (x(D)) =< &(1), X(t) >= 
-6(1) (IT-P)Y(D + HN ED) < 
IC-Psollzxol-ao le-PsoPs 
[0-PeDN lzol: ao |- PeD)) 
根据 定理 2 的 证 明 过 程 可 知 ，X(1) 有 界 , 因此 存在 一 个 足 
够 大 的 M > 0 , 使 得 |xz(D)- 刘 < M 。 由 于 目标 函数 了 (X) 是 
局 部 李 普 西 兹 函数 ， 设 1， 分别 为 1(X)，G(X) 在 


B( 庆 MM) 上 的 Lipschitz 常数 ,可 知 | 7, 上 E97. 
另 一 方面 ， 根据 引 理 1 可 推出 ， 对 任意 给 定 
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xz e{S,\S}NBGE, M) 


[D-DD UU-P) 四 > G,， 从 而 有 


[0-P) él G6,/M >0. 
此 外 ， 对 任意 xX(1) < 权 ”， 


G(1) >0, 因此 (7) 
单调 递增 的 。 从 而 必 存 在 一 i 之 0 ， 使 得 对 任意 了 > 了 


| 


是 


AD >1 M/G,, (8) 
综 上 ， 对 任意 1 >f ， 存 在 一 个 实数 6&0 > 0 ， 满 足 
(d/d W(x(1) < -es oo 
对 (9) 两 边 从 Y" 到 1 进行 积分 得 
W(X) Wx)) ES -so (1-7 ) (10) 
而 W(x(t)>0 有 上 界 ， 结 合 
{x :W(x(D)) <0} =5, 可 导出 X(1) 必 在 有 限时 间 内 进入 
9 ， 即 进入 可 行 域 5S 。 
下 面 仍 需 证 明 ， 若 X(t0)， > 了 7 在 S 中 ， 则 当 >7"， 
X(1) 将 一 直 停留 在 那里 。 
采用 反 证 法 ， 假 定 x(?) 在 时 刻 加 > 力 离开 9 ， 且 在 时 间 
fe(f,y)， 妇 < 如 内 在 S 外。 W(x(1))=0 及 
SW(x()<-e , fe(t,t), 可 知 W(x(D)) <0 ， 
fe(fi, 尹 ) ,这 与 W(X(1)) >0，x(1) gS 相 矛 盾 , 定理 3 


得 证 。 


定义 3 神经 网 络 的 平衡 点 集合 2E_ 为 


x,A, |0eof (x')+ Br) 


/=l 


+ Og(x) +2cY (Oh (x") h(x) 


| j=1 


m 


+c> (08 ) wg.(x) 


0=》 10h,(x),0= Yu, og,(x) 
J=l i=1 


定理 4 当 假设 1 成 立 ， 
经 网 络 轨迹 X(1) 满足 lm 


di 


1 一 > 十 oO 


St(X(1),E )=0。 


证 明 为 了 便于 后 文 的 证 明 ， 首 先 定义 能 量 函 


给 定 任意 的 初始 点 Xo € 腿 ”， 神 


数 : 


月 十 | 
a 
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W'"(x) = f(x) 。 由 定理 3 可 知 , 对 于 任意 初始 点 Xo ES ，x(71) 
会 一 直 停 留 在 $ 中 。 因 为 W'(x) 是 正则 函数 ， 存 在 可 测 函 数 
rl)ed(x()) , sl)eoG(x() ， 以 
n(t) eh(Ax(?) b), 有 
(d/ dW "(x(1)) =< (0),—(T—P)(Y(1) +us(t)) > 
与 此 同时 ， 为 x(1)eS ，0G(X)=0 ， 也 就 是 说 
<6(),XGD) >= 0 。 上 式 则 可 以 改写 成 
(d /dW "(x(1)) =<7YCD+TUEGD ,一 一 POCOD+UECD) > 
而 (IC-P) =7T-P，CU=-P7 =(7-P),， 所 以 
(d /dDW'(x(D))=-|0 -PO) +ug(O)NP a 
= 一人 zol 

根据 假设 1，f(x) 有 下 界 ， 可 知 W"(x) 有 界 。 

接 下 来 ， 通 过 反 证 法 证 明定 理 2， 假设 
lim, ,,, dist(x(t,),E,)=p ， 那 么 存在 一 个 序列 {t,}， 当 
limt,=+% 时 ， 有 lim,,,,dist(x(t,),s,)=p 并 且 


no 


dist(x(1,),Es) > p12 。 不 妨 假定 万 =BG RN (s+ FB(0.1) | 
XY(7#):= 一 (1 一 P)(6f (x)+u0G(x)) 。 由 前 文 的 分 析 ， 可 知 
X(t) e T(x(1)) 。 

对 于 任意 的 x(1)e 且 ,有 0gY(x(1))。 而 Y(x(?)) 是 一 个 
紧 凸 集 ， 则 在 且 上 存在 最 小 值 与 最 大 值 ， 分 别 表示 为 
d|>0 


My =max max | |>0 
xeH CelY(x) 


此 外 , 对 于 任意 时 间 间 隔 te [t,t, +Q], x(D) eH, 
有 0<azp/(4M,,)。 结 合式 (11) ， 可 得 


my = = min min 
xeH ceY(x) 


lim Wx)=W'G0) -| iF ar 


<W'(x,)— | 


neN 


SW’'(%0)— | madt 


JE dt 


=W'(m)— ,oms = 一 


neN 


因 此， 


长 


lim, ， dist(x(7),£,) =0, 证 


定义 4 优化 问题 的 关键 点 集合 


C 为 


C={xeS:0e6f(x)+Ns(Xx)}，, 其 中 和 Ns(X) 是 XX 在 


可 行 域 $ 上 的 法 锥 。 
定理 5 当 假 设 1 成 立 ,给 定 任意 的 初始 点 Xo € 民 ” 
经 网 络 模型 (2) 的 任意 一 个 聚 点 都 是 优化 问 是 
证 明 为 了 便于 后 文 的 证 明 ， 首 先 定 义 能 量 函 数 : 
W"(x) = Joo 。 由 定理 3 可 知 , 对 于 任意 初始 点 X06 ES ，Xx(?) 
会 一 直 停 留 在 S 中 。 由 网 络 模型 (2) 可 知 当 x(1) eS ,ul(1)=u。 


» 神 
题 (1) 的 关键 点 。 
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W'(x) 是 正则 函数 ， 存 在 可 测 函 数 y(t)e@f (x(?)) ， 
<(1) GS 6G(x(7)) 满足 
(d/ dDW'(x(D) =< YD, -I — PY +RED) > 


因 x(1) eS ，G(x) =0， 即 <é(7),X() >=0。 上 式 则 可 以 


改写 成 
(d /dW "(x(t)) =< Y(t) +uE(),—(T— PY(D) +UG(D)) > ， 而 
(TI-P) =I-P, (0-P) =(-P)， 所 以 


(d / dD)W'(x(D)) = 
-IC=-P(OD+zEO 下 =-|zoP<o0 


可 知 W'"(x) 是 一 个 非 增 函 数 。 又 由 8$ 有 界 可 知 W"(x(?)) 有 
下 界 ， 从 而 可 知 jim ,ae 克 (xz(D) 存在 ， 且 


m, ,|x|=0 (12) 
Xx() 在 S$ 中 且 S 有 界 , 可 知 存 在 一 个 聚 点 xX 和 一 个 时 间 
ti} 满 足 lim, ,ti =+%,， lim, ,,, X(t,)=X。 
式 (12) 可 知 lm 郊 =0 ， 从 而 有 


lm -一 0 一 PO +u6, )=0 


TT 


其 中 为 sg )， Ee0G(%)。 由 李 (X) 及 0G(X) 是 上 半 连 


续 的 集 值 映 射 ， 可 知 


lm 7 Esc) 


和 EOG(X) 


mi 一 +oo 


0 eh(Ax—b) 
有 0e-(I-P)(Of (xX)+n60G(x) -A h(Ax-b) (13) 


可 知 (X,W) 是 网 络 模型 式 (2) 的 一 个 平衡 点 。 

从 式 (13) 可 知 ， 存 在 Ye6f(X) ，E €0G(X)， 
7 Eh(Ax 一 b)， 满足 : 

0=—(0 -PF +nE)- A (14) 


邻 开 = 万 (AA”)1A(7+NE)， 于 是 式 (14) 可 以 改写 
成 0=7+NE+A Ax。 根据 法 锥 的 定义 可 知 A XEN, (Xx)， 
uC e N, (xX)， 从 而 有 
Oeof (xX)+N, (X)+N, (xX) 


考虑 优化 问题 的 假定 int(S) 门 S, 关 人 ， 有 


N,(x)=N, (Xx) +N, (7) ? 从 而 有 


Oeof(x)+N., (x) 
即 是 优化 问题 的 一 个 关键 点 。 
综 上 可 知 ， 网 络 模型 的 每 一 个 聚 点 都 是 优化 问题 (1) 的 关 
键 点 ， 证 毕 。 
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3 ”实验 仿真 


神经 网 络 最 优化 模式 与 常规 的 最 优化 算法 的 最 大 不 同 为 神 
经 网 络 模型 的 并 行 计算 能 力 。 得 益 于 这 种 并 行 性 能 ， 神 经 网 络 
模型 已 经 被 应 用 于 广泛 变化 的 科学 工程 应 用 中 。 为 了 检验 微分 
包含 的 神经 网 络 模型 (2) 的 有 效 性 , 使 用 MATLAB2012a 来 仿真 
最 优化 问题 式 (10)， 验 证 解 轨 迹 z( 最 终 收敛 于 万 中 的 一 个 最 
优 解 。 由 于 MATLAB2012a 的 默认 数据 类 型 为 short， 数 据 精 
为 保留 小 数 点 后 四 位 ， 因 此 本 文 仿真 的 所 有 数据 结果 均 保 留 
位 小 数 。 
网 1 (目标 函数 非 光滑 ， 约 束 函 数 光 滑 ) 
min f(x)JX |+cos(x)+2x7 

x +x3 -10<0 
—S<0 
—]=0 
其 中 ， 目 标 函 数 为 非 光滑 非 凸 ， 约 束 为 光滑 凸 函数 。 取 5 


百 潭 


2 
St DX, + XN +X 


Xl + xX, 十 23 


组 随机 初始 点 (一 1.5,1.5,1.5)”、(-3,2,3)”、(0.5, 一 0.5, 2.5)7、 


(2,3,D) ~、(-1,1,2) 


， 其 中 ，X= (0 ,b,xX3)》 的 轨迹 如 


器 


所 示 ， 所 有 解 轨 迹 均 可 以 收敛 到 唯一 的 平衡 点 。 其 解 为 


X=(-1.7921,—0.2156, 3.0038)  。 


2 x 
[ed 
x 
1 x2 
x 
:0 
坎 # 
ES x 
-1 
IN ££ 
-2 
-3 和 EF 和 本 
0 5 10 个 20 25 


执行 时 间 (sec) 


图 1 例 1 解 收敛 轨迹 
例 2 (目标 函数 和 约束 函数 均 非 光滑 凸 函 数 ) 
Min f(x) | Xx | + 2_COsS(x’) 


XO+NO+XA -8<0 
a|+o +X—10<0 
Xi+X,+Xs—4=0 
在 例 2 中 ， 目 标 函 数 是 非 光滑 凸 函 数 ， 其 实 一 个 不 等 式 约 
束 为 非 光 滑 止 函数。 选取 五 组 初始 点 : (-10,3)7 、(-2,-12)7、 
(-3,2.5,0.5)”、(-4,1,1.5)”、(-1.5,1.5,1)”。 状 态 向 量 X() 
的 解 轨 迹 如 图 2 所 示 ，2(t) 均 可 以 收敛 于 唯一 解 。 其 中 ， 解 为 


X= (0.0043,0.2640,3.7377) 。 
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二 
4 
L x 
@ a 3 x2 
SI | 
x 
有 = [a 
x 
是 0 A 41 
= 2 闪光 pa 
者 pp a 
从 2| pp AAA 
12 沁 
-4 上 上 下 A 了 二 
0 5 10 15 20 25 


执行 时 间 (sec) 
图 2 例 2 解 轨迹 收敛 


4 ”结束 语 


本 文 提出 了 一 种 新 的 解决 非 光滑 非 凸 优化 的 等 式 和 不 等 式 
约束 的 递归 神经 网 络 模型 。 跟 传统 神经 网 络 模型 相 比 ， | 
提出 的 递归 神经 网 络 模型 不 需要 任何 的 惩罚 函数 ， 解 决 了 逢 
参数 在 实际 中 难以 计算 的 问题 ， 同 时 ， a 
大 的 提高 。 最 后 ， 本 文 使 用 了 两 个 例子 验证 了 本 文 所 提 递 归 # 
经 网 络 求解 非 光滑 是 优化 问题 的 理论 的 正确 性 。 接 下 来 的 工作 ， 
我 们 将 探索 其 他 神经 网 络 模型 (尤其 是 混沌 神经 网 络 ) 对 非 光滑 
非 凸 最 优化 问题 进行 求解 。 
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